Anthropic ha anunciado que su serie de modelos de lenguaje grande Claude presenta una nueva función de "caché de indicaciones", diseñada para reducir significativamente los costos de IA empresarial y mejorar el rendimiento. Esta función permite a los usuarios almacenar y reutilizar información de contexto específica sin costo adicional ni aumento de latencia. En pruebas abiertas, los modelos Claude 3.5 Sonnet y Claude 3 Haiku implementarán esta función, con la expectativa de lograr una reducción de costos de hasta el 90% y una duplicación de la velocidad de respuesta en algunos escenarios. Esta función es especialmente útil para aplicaciones que requieren...

La API de Anthropic ha añadido una función de caché de indicaciones para optimizar la experiencia de uso del modelo Claude. Esta función permite a los usuarios almacenar en caché información de contexto común entre las llamadas a la API, lo que reduce significativamente el coste y la latencia de las indicaciones largas, hasta un 90% y un 85%, respectivamente. Actualmente se encuentra en versión beta pública para Claude 3.5 Sonnet y Claude 3 Haiku, y se ampliará a Claude 3 Opus en el futuro. Es adecuada para agentes de conversación, asistentes de codificación, procesamiento de documentos grandes y búsqueda por agentes. Precios de la caché de indicaciones